SLORR: Simple and Efficient In-Training Low-Rank Regularization
SLORR：简单高效的低秩正则化框架，实现训练中压缩友好
🧭 训练时低秩正则化压缩
Max Planck Institute for Intelligent Systems · University of Tübingen · ELLIS Institute Tübingen · Tübingen AI Center
在训练中施加低秩正则化，使模型压缩后更易保持性能，训练开销极低
📌 工作参考价值（4 点）
- 推荐模型训练时加入低秩正则化，可提升后续低秩分解压缩的质量，减小推理开销，且不改变模型结构，易于在现有Pipeline中插入。
- 使用Hoyer近似或核范数近似，避免直接计算SVD，计算开销低（LLM训练中<1%），适合大规模推荐模型或Agent模型的训练。
- 对于基于LLM的生成式推荐（GenRec），在预训练阶段施加SLORR，后续压缩时能更好保留语义ID生成质量。
- 无状态、架构不变的设计，可将其作为插件添加到现有训练流程，用于任何权重矩阵的低秩偏好学习。